在科学计算的许多领域越来越流行的人工神经网络（ANN）的大量使用迅速增加了现代高性能计算系统的能源消耗。新型的神经形态范式提供了一种吸引人的替代方案，它直接在硬件中实施了ANN。但是，对于科学计算中用例使用ANN在神经形态硬件上运行ANN的实际好处知之甚少。在这里，我们提出了一种方法，用于测量使用常规硬件的ANN来计算推理任务的时间。此外，我们为这些任务设计了一个体系结构，并根据最先进的模拟内存计算（AIMC）平台估算了相同的指标，这是神经形态计算中的关键范例之一。在二维凝结物质系统中的量子多体物理学中的用例比较两种方法，并在粒子物理学中大型强子对撞机上以40 MHz的速率以40 MHz的速率进行异常检测。我们发现，与传统硬件相比，AIMC最多可以达到一个较短的计算时间，最高三个数量级的能源成本。这表明使用神经形态硬件进行更快，更可持续的科学计算的潜力。
translated by 谷歌翻译
This paper introduces corpus-guided top-down synthesis as a mechanism for synthesizing library functions that capture common functionality from a corpus of programs in a domain specific language (DSL). The algorithm builds abstractions directly from initial DSL primitives, using syntactic pattern matching of intermediate abstractions to intelligently prune the search space and guide the algorithm towards abstractions that maximally capture shared structures in the corpus. We present an implementation of the approach in a tool called Stitch and evaluate it against the state-of-the-art deductive library learning algorithm from DreamCoder. Our evaluation shows that Stitch is 3-4 orders of magnitude faster and uses 2 orders of magnitude less memory while maintaining comparable or better library quality (as measured by compressivity). We also demonstrate Stitch's scalability on corpora containing hundreds of complex programs that are intractable with prior deductive approaches and show empirically that it is robust to terminating the search procedure early -- further allowing it to scale to challenging datasets by means of early stopping.
translated by 谷歌翻译
We present the Habitat-Matterport 3D Semantics (HM3DSEM) dataset. HM3DSEM is the largest dataset of 3D real-world spaces with densely annotated semantics that is currently available to the academic community. It consists of 142,646 object instance annotations across 216 3D spaces and 3,100 rooms within those spaces. The scale, quality, and diversity of object annotations far exceed those of prior datasets. A key difference setting apart HM3DSEM from other datasets is the use of texture information to annotate pixel-accurate object boundaries. We demonstrate the effectiveness of HM3DSEM dataset for the Object Goal Navigation task using different methods. Policies trained using HM3DSEM perform outperform those trained on prior datasets. Introduction of HM3DSEM in the Habitat ObjectNav Challenge lead to an increase in participation from 400 submissions in 2021 to 1022 submissions in 2022.
translated by 谷歌翻译
用于图像分割的深卷卷卷神经网络不会明确学习标签结构，并且可能会在类似树状结构（例如气道或血管）分割的圆柱形结构中产生不正确的结构（例如，具有断开的圆柱形结构）的分割。在本文中，我们提出了一种新型的标签改进方法，以从初始分割中纠正此类错误，并隐含地包含有关标签结构的信息。该方法具有两个新颖的部分：1）生成合成结构误差的模型，以及2）产生合成分割（带有误差）的标签外观仿真网络，其外观与实际初始分段相似。使用这些合成分割和原始图像，对标签改进网络进行了训练，以纠正错误并改善初始分割。该方法对两个分割任务进行了验证：来自胸部计算机断层扫描（CT）扫描和大脑3D CT血管造影（CTA）图像的脑血管分割的气道分割。在这两种应用中，我们的方法都大大优于标准的3D U-NET和其他先前的改进方法。当使用其他未标记的数据进行模型培训时，改进甚至更大。在消融研究中，我们证明了所提出方法的不同组成部分的值。
translated by 谷歌翻译
固有图像分解（IID）是一个不受限制的问题。因此，传统方法使用手工制作的先验来限制问题。但是，在应对复杂场景时，这些约束受到限制。基于深度学习的方法通过数据隐含地学习了这些约束，但是它们通常会遭受数据集偏见的困扰（由于无法包括所有可能的成像条件）。在本文中，提出了两者的组合。利用语义和不变特征（例如语义和不变特征）以获得语义和物理上合理的反射率转换。这些过渡用于引导具有隐式同质性约束的进行性CNN，以分解反射率和阴影图。进行了一项消融研究，表明拟议的先验和进行性CNN的使用增加了IID的性能。我们提出的数据集和标准现实世界IIW数据集的最新性能都显示了提出的方法的有效性。代码可在https://github.com/morpheus3000/signet上提供
translated by 谷歌翻译
评论或源代码的自然语言描述是软件开发人员中的标准实践。通过传达代码的重要方面，例如功能和用法，评论有助于软件项目维护。但是，当对代码进行修改而无需对该注释的纠正进行更正时，就会出现评论和代码之间的不一致性，这为开发人员混淆和错误提供了可能性。在本文中，我们提出了两个基于Bert（Devlin等，2019）和Longformer（Beltagy等，2020）的模型，以在自然语言推理（NLI）上下文中检测这种不一致之处。通过在代码更改期间和之后对先前建立的评论方法对的评估，我们证明了我们的模型的表现优于多个基准，并产生与排除语言和词汇特征的最先进模型的可比结果。我们进一步讨论了未来研究的想法，以使用预读的语言模型进行不一致的检测和自动评论更新。
translated by 谷歌翻译
语言模型在需要自然语言理解的各种任务上取得了非凡的表现。然而，最先进的模型通常在需要定量推理的任务上挣扎，例如在大学一级解决数学，科学和工程问题。为了帮助缩小这一差距，我们介绍了Minerva，Minerva是一种在一般自然语言数据上鉴定的大型语言模型，并进一步培训了技术内容。该模型在不使用外部工具的情况下实现了技术基准测试的最新性能。我们还评估了我们在需要定量推理的物理学，生物学，化学，经济学和其他科学方面的200多个本科生问题上评估我们的模型，并发现该模型可以正确回答其中几乎三分之一。
translated by 谷歌翻译
本文介绍了学习3D表面类似地图集的表示的新技术，即从2D域到表面的同质形态转换。与先前的工作相比，我们提出了两项主要贡献。首先，我们没有通过优化作为高斯人的混合物来了解具有任意拓扑的连续2D域，而不是将固定的2D域（例如一组平方斑）映射到表面上。其次，我们在两个方向上学习一致的映射：图表，从3D表面到2D域，以及参数化，它们的倒数。我们证明，这可以提高学到的表面表示的质量，并在相关形状集合中的一致性。因此，它导致了应用程序的改进，例如对应估计，纹理传输和一致的UV映射。作为额外的技术贡献，我们概述了，尽管合并正常的一致性具有明显的好处，但它会导致优化问题，并且可以使用简单的排斥正则化来缓解这些问题。我们证明我们的贡献比现有基线提供了更好的表面表示。
translated by 谷歌翻译
高飞空中无人机捕获的视觉似乎越来越多地用于评估全球生物多样性和动物人口动态。然而，尽管超高分辨率相机，挑战采集场景和空气传播图像中的小型动物描绘，但到目前为止，这一直是利用高信心地应用计算机视觉探测器的因素。在本文中，我们首次通过将具有超级分辨率技术和高度数据组合的深度对象探测器来解决问题。特别是，我们表明，整体关注网络的超级分辨率方法和定制的海拔高度数据剥削网络进入标准识别管道，可以大大提高现实世界中的检测效率。我们评估两个公共，大型空中捕获动物数据集，Savmap和AED系统。我们发现所提出的方法可以一致地改善烧蚀的基线和两个数据集的最先进的性能。此外，我们对动物分辨率与检测性能之间的关系提供了系统分析。我们得出结论，超级分辨率和高度知识利用技术可以显着增加环境的基准，因此，在检测到空中图像中的微小解决的动物时应常规使用。
translated by 谷歌翻译
2021-11-03
多模态语言视觉模型培训超过数亿图像文本对（例如剪辑，dall-e）获得了最近的浪涌，表明即使在没有每个的情况下也能够执行零或几秒钟学习和转移的显着能力目标图像数据上的示例标签。尽管存在这种趋势，迄今为止没有公开可公开的数据集足以从头划伤培训此类模型。为解决这个问题，在社区努力中，我们为公共LAION-400M构建和发布，一个具有剪辑的数据集 - 过滤400万图像文本对，其剪辑嵌入式和KNN指数允许有效的相似性搜索。
translated by 谷歌翻译